Linear partial differential equations (PDEs) are an important, widely applied class of mechanistic models, describing physical processes such as heat transfer, electromagnetism, and wave propagation. In practice, specialized numerical methods based on discretization are used to solve PDEs. They generally use an estimate of the unknown model parameters and, if available, physical measurements for initialization. Such solvers are often embedded into larger scientific models or analyses with a downstream application such that error quantification plays a key role. However, by entirely ignoring parameter and measurement uncertainty, classical PDE solvers may fail to produce consistent estimates of their inherent approximation error. In this work, we approach this problem in a principled fashion by interpreting solving linear PDEs as physics-informed Gaussian process (GP) regression. Our framework is based on a key generalization of a widely-applied theorem for conditioning GPs on a finite number of direct observations to observations made via an arbitrary bounded linear operator. Crucially, this probabilistic viewpoint allows to (1) quantify the inherent discretization error; (2) propagate uncertainty about the model parameters to the solution; and (3) condition on noisy measurements. Demonstrating the strength of this formulation, we prove that it strictly generalizes methods of weighted residuals, a central class of PDE solvers including collocation, finite volume, pseudospectral, and (generalized) Galerkin methods such as finite element and spectral methods. This class can thus be directly equipped with a structured error estimate and the capability to incorporate uncertain model parameters and observations. In summary, our results enable the seamless integration of mechanistic models as modular building blocks into probabilistic models.

我们提出了一种结合时间序列表示学习的专家知识的方法。我们的方法采用专家功能来代替以前的对比学习方法中常用的数据转换。我们这样做是因为时间序列数据经常源于工业或医疗领域，这些工业或医学领域通常可以从域专家那里获得专家功能，而转换通常难以捉摸，对于时间序列数据。我们首先提出了有用的时间序列表示应实现的两个属性，并表明当前的表示学习方法不能确保这些属性。因此，我们设计了Expclr，这是一种基于目标的目标，它利用专家功能来鼓励两种属性来实现学习的代表。最后，我们在三个现实世界中的数据集上演示了ExpCLR超过了无监督和半监督的表示学习的几种最新方法。

收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。

修剪神经网络可降低推理时间和记忆成本。在标准硬件上，如果修剪诸如特征地图之类的粗粒结构（例如特征地图），这些好处将特别突出。我们为二阶结构修剪（SOSP）设计了两种新型的基于显着性的方法，其中包括所有结构和层之间的相关性。我们的主要方法SOSP-H采用了创新的二阶近似，可以通过快速的Hessian-vector产品进行显着评估。 SOSP-H因此，尽管考虑到了完整的Hessian，但仍像一阶方法一样缩放。我们通过将SOSP-H与使用公认的Hessian近似值以及许多最先进方法进行比较来验证SOSP-H。尽管SOSP-H在准确性方面的表现或更好，但在可伸缩性和效率方面具有明显的优势。这使我们能够将SOSP-H扩展到大规模视觉任务，即使它捕获了网络所有层的相关性。为了强调我们修剪方法的全球性质，我们不仅通过删除预验证网络的结构，而且还通过检测建筑瓶颈来评估它们的性能。我们表明，我们的算法允许系统地揭示建筑瓶颈，然后将其删除以进一步提高网络的准确性。

过度参数化神经网络（NN）的损失表面具有许多全球最小值，却零训练误差。我们解释了标准NN训练程序的常见变体如何改变获得的最小化器。首先，我们明确说明了强烈参数化的NN初始化的大小如何影响最小化器，并可能恶化其最终的测试性能。我们提出了限制这种效果的策略。然后，我们证明，对于自适应优化（例如Adagrad），所获得的最小化器通常与梯度下降（GD）最小化器不同。随机迷你批次训练，即使在非自适应情况下，GD和随机GD基本相同的最小化器，这种自适应最小化器也会进一步改变。最后，我们解释说，这些效果仍然与较少参数化的NN相关。尽管过度参数具有其好处，但我们的工作强调，它会导致参数化模型缺乏错误来源。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

我们派生并分析了一种用于估计有限簇树中的所有分裂的通用，递归算法以及相应的群集。我们进一步研究了从内核密度估计器接收级别设置估计时该通用聚类算法的统计特性。特别是，我们推出了有限的样本保证，一致性，收敛率以及用于选择内核带宽的自适应数据驱动策略。对于这些结果，我们不需要与H \“{o}连续性等密度的连续性假设，而是仅需要非参数性质的直观几何假设。

We propose an analysis-by-synthesis method for fast multi-view 3D reconstruction of opaque objects with arbitrary materials and illumination. State-of-the-art methods use both neural surface representations and neural rendering. While flexible, neural surface representations are a significant bottleneck in optimization runtime. Instead, we represent surfaces as triangle meshes and build a differentiable rendering pipeline around triangle rasterization and neural shading. The renderer is used in a gradient descent optimization where both a triangle mesh and a neural shader are jointly optimized to reproduce the multi-view images. We evaluate our method on a public 3D reconstruction dataset and show that it can match the reconstruction accuracy of traditional baselines and neural approaches while surpassing them in optimization runtime. Additionally, we investigate the shader and find that it learns an interpretable representation of appearance, enabling applications such as 3D material editing.

封闭的量子机械系统的物理学受哈密顿量的约束。但是，在大多数实际情况下，这种哈密顿量尚不清楚，最终所有的数据是从系统上的测量中获得的数据。在这项工作中，我们通过将基于机器学习的基于梯度的优化从机器学习中从张量量的网络中从机器学习中从基于梯度的优化中汇总到从基于梯度的优化的技术中汇总到从动力学数据中进行交互的多体汉密尔顿人来学习的家庭。我们的方法非常实用，实验友好且本质上可扩展，以使系统尺寸超过100次旋转。特别是，我们在综合数据上证明了算法的工作原理，即使仅限于一个简单的初始状态，少量的单量观测和时间演变为相对较短的时间。对于一维海森贝格模型的具体示例，我们的算法在系统大小和缩放的误差常数中作为数据集大小的反平方根。

我们介绍了de bruijn图神经网络（DBGNNS），这是一种新颖的时间感知图神经网络体系结构，用于动态图上的时间分辨数据。我们的方法解释了动态图的因果拓扑中展开的时间流行模式，该模式由因果步行确定，即节点可以随着时间的时间影响彼此的链接序列。我们的架构建立在多层de bruijn图的多层上，这是一个迭代的线图结构，其中d de bruijn图中的节点k表示长度k-1的步行，而边缘则表示长度k的步行。我们开发了一个图形神经网络体系结构，该架构利用de bruijn图来实现遵循非马克维亚动力学的消息传递方案，该方案使我们能够在动态图的因果拓扑中学习模式。解决de bruijn图形不同订单k的问题可用于建模相同的数据集，我们进一步应用统计模型选择以确定用于消息传递的最佳图形拓扑。合成和经验数据集的评估表明，DBGNN可以利用动态图中的时间模式，从而大大改善了监督节点分类任务中的性能。